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Abstract 


Il castello di Mussomeli (CL) è uno dei più suggestivi dell'entroterra della Sicilia per la sua posizione 
arroccata e dominante su una vasta area di territorio circostante. Meta turistica ambita da molti vi- 
sitatori, appartiene a quella categoria di castelli spontanei, in cui la situazione orografica della rocca 
diviene l'occasione difensiva per collocare singoli ambienti progettati, complessivamente disarticolati, 
ma organicamente inseriti nell’orografia. L'impianto ci restituisce un'immagine significativa di come 
fosse un'architettura militare del XIII secolo, per il controllo del territorio. In occasione di un progetto 
finanziato dalla regione per produrre realtà virtuale (VR) e aumentata (AR) tramite visori e VR Cave, 
finalizzata alla valorizzazione del territorio, sono stati prodotti modelli tridimensionali tramite sensori 
attivi lidar e passivi con drone e camere digitali. L'occasione è stata duplice: produrre modelli di realtà 
virtuale e modelli di studio. Il lavoro si è intersecato con diverse discipline, spaziando dall'area della 
scienza dell’informazione a quella storica, nonché alla fisica delle particelle per indagini negli strati 
della roccia. In quest'approccio pluridisciplinare il disegno e la rappresentazione conservano il ruolo di 
centralità per la verifica e le analisi in molteplici aspetti. Nel presente lavoro si danno i risultati fin qui 
raggiunti nel primo anno di lavoro. 
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Fig. OI. Le app di realtà 
virtuale presenti nello 
store di Google Play (Im- 
magine dell'autore). 


Introduzione: un immaginario universo di immagini 


Non costituisce meraviglia che viviamo immersi in un mondo di immagini, ma è sempre un 
motivo di rinnovata riflessione. La differenza del sapiens sin dal suo esordio è l'avere creato 
concetti astratti, di immaginare, cioè di aggiungere al reale un mondo virtuale, lo si potrebbe 
definire uomo immaginifico, “è relativamente facile concordare sul fatto che solo Homo sa- 
piens può parlare di cose che non esistono veramente e mettersi in testa storie impossibili” 
[Harari 2017]. Sin dai primordi l'uomo ha trovato più rapido ed efficace comunicare tramite 
immagini, | primi tentativi di scrittura fonetica sono caduti in disuso rapidamente e quando 
sono stati riscoperti sono rimasti indecifrati per diversi secoli. Diverso il discorso delle forme 
grafiche: pittogrammi e ideogrammi hanno consentito una più rapida decifrazione, oltre una 
fascinazione immediata. Nel saggio “le scritture scomparse” J. Friedrich afferma che: “Sui 
segni grafici egiziani occorre dire in primo luogo che la scrittura pittografica, è innanzi tutto 
la scrittura usata sui Monumenti, su cui essa viene in particolar modo notata da uno stranie- 
ro” [Friedrich 1989]. Un'affermazione interessante che esprime la volontà di una civiltà di 
assegnare al linguaggio grafico messaggi e comunicazioni da tramandare, piuttosto che alla 
scrittura su papiro. Poco più avanti lo stesso autore afferma: “è sufficiente quindi che noi, per 
il successivo esame dell'intima struttura della scrittura egiziana, prendiamo per base le plasti- 
che forme dei ieroglifici che più colpiscono per l'immediatezza delle raffigurazioni” [Friedrich 
1989]. In contrapposizione alle scomparse scritture cuneiformi dell'Asia minore, rimane inne- 
gabile il ruolo del segno grafico come un riconosciuto linguaggio universale che ha attraver- 
sato il tempo. | mosaici delle ville romane tardo antiche vennero realizzati per catturare l'at- 
tenzione degli ospiti, più efficaci che un'iscrizione incisa sul marmo, ancora oggi assolvono al 
loro ruolo di efficace impatto visivo sui visitatori. La veicolazione di importanti messaggi nella 
storia dell'uomo è avvenuta sempre tramite immagini: “Mi riferisco alla possente esigenza da 
parte della chiesa, dopo aver sconfitto l'iconoclastia nel IX secolo, di sviluppare un articolato 
sistema di immagini atto a rendere il suo credo più intellegibile e pertanto più accessibile, a 
una vasta massa di credenti reali o potenziali, sprovvisti della possibilità di leggere i testi sacri” 
[Maldonado 2015]. Pittogrammi, rappresentazioni musive, rappresentazioni sacre: espressive 
rappresentazioni, talvolta di narrazioni virtuali, talvolta di narrazioni fantastiche. La rappre- 
sentazione del virtuale è sempre esistita, quella di cui parliamo oggi è l'estensione digitale. 
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Il progetto 3DLAB Sicilia: divulgazione dei beni culturali attraverso VR/AR 


La disponibilità, sempre crescente e sempre più economica, di sensori attivi e passivi, lidar e 
digitali da una parte, e di visori con dispositivi indossabili per la fruizione di ambienti ad alta 
immersivita dall'altra, ha reso possibile l'esplosione di un vero e proprio mercato di VR e di 
AR. Nel 2020, l'impatto economico di questo settore ha raggiunto una cifra che si aggira 
intorno ai 29,5 miliardi di dollari, nel 2017 il valore era pari a 2,4 miliardi di dollari e nel 2016 
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si contavano 1,7 miliardi di dollari. Applicazioni VR/AR sono sempre più diffuse e numerose 
in molti campi, non meraviglia quindi che laboratori VR/AR di visualizzazione avanzata siano 
in continua creazione e sviluppo, sia in ambiente accademico che industriale. Sull'app-store di 
google play si trovano circa 249 applicazioni di realtà virtuale (fig. 01), di cui la prima vanta oltre 
due milioni di download. In questa forte richiesta di contenuti di VR/AR si colloca il progetto 
3DLAB Sicilia, con lo sviluppo di modelli VR/AR dei beni culturali di diversi comuni partner, tra 
cui siti o beni culturali già censiti dall'UNESCO. Il work package UNESCO-VR di 3DLab Sicilia 
vede impegnati alcuni ricercatori dell'area della rappresentazione dell'Università degli Studi di 
Catania per sviluppare contenuti di realtà immersiva. Il dataset è abbastanza ampio, preveden- 
do siti archeologici del periodo protostorico, di quello bizantino, architetture religiose, siti di 
archeologia industriale del XVII secolo, architetture militari, tra cui il castello di Vizzini (CT), già 
ex carcere borbonico e il castello di Mussomeli. Obiettivo del progetto è la creazione di modelli 
virtuali navigabili tramite cardbord, visori, ed esperienze immersive con VR cave a tre pareti, re- 
alizzate nell'ambito dello stesso progetto. Infine, il progetto 3DLab-Sicilia intende anche validare 
e dimostrare alcune apparecchiature sperimentali robotizzate e le sinergie dell'infrastruttura 
con una serie di use case in modo di federare la propria infrastruttura con quella europea di 
Visionair, al fine di definire modelli di gestione e di sostenibilità dopo la fine del progetto. La 
rete Visionair [|] finanziata dalla Commissione Europea ha avuto come obiettivo la creazione di 
una rete continentale con più di 20 centri di VR e visualizzazione 3D e di validarla con circa 200 
applicazioni e progetti selezionati mediante procedure competitive. 


Fig. 02. Il Castello di 
Mussomeli, il rapporto 
con la rocca. (Immagine 
dell'autore). 


L'importanza della diffusione della conoscenza del patrimonio culturale era già stata espressa 
con la convenzione di Faro del 2005, recepita dall'Italia solo nel 2020. Si condivide quanto 
espresso dall'ICOM [2] a riguardo della Convenzione di Faro che si fonda sul presupposto che 
la conoscenza e l'uso dell'eredità culturale rientrino pienamente fra i diritti umani, ed in particolare 
nell'ambito del diritto dell'individuo a prendere liberamente parte alla vita culturale della comunità 
e a godere delle arti. 

L'attività avviata si prefigge, oltre le finalità insite nel progetto, di sensibilizzare gli enti preposti 
ai siti museali e le amministrazioni comunali per attivare in diverse modalità iniziative per la 
valorizzazione del territorio e la divulgazione della cultura artistica e storica. 
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Fig. 03. Il castello di Mus- 
someli, pianta dei piani 


Si può parlare a pieno titolo di un progetto pilota per la regione, poiché ulteriori coinvol- 
gimenti delle amministrazioni locali sono reali e in corso, resi possibili tramite sotto-bandi 
finanziati all'interno del progetto in corso. Il ruolo della rappresentazione rimane centrale 
nel controllo di contenuti e sperimentazioni di questa nuova frontiera. Ruolo che interviene 
in tutte le fasi, dalla acquisizione dei dati, alle modalità di elaborazione, fino al risultato visivo. 


Brevi cenni storici 


La sua fondazione è ipotizzata nella prima metà del XIV secolo, successiva alla concessione con 
privilegio reale ottenuta da Manfredi Ill Chiaramonte, per i territori di Castronovo e Mussomeli. 
Al primo impianto apparterebbero le sale a sud-ovest e la cappella [Spatrisano 1972], alla secon- 
da parte del secolo è riconosciuta la fondazione storica del castello che avrebbe inglobato strut- 
ture precedenti [Armò 191 1]. Nel XIV secolo il castello passa al demanio e nel 1392 Mussomeli 
è assegnata a Guglielmo Raimondo Moncada, quindi seguono alterne vicende e si arriva ad un 
periodo di stabilità con la titolarità della famiglia Lanza che lo detiene tra il XVI e il XX secolo. Sap- 
piamo che appartiene al XV secolo l'ampliamento con la sala dei baroni e gli ambienti adiacenti 
[Armò 191 1], mentre durante il XVIII secolo il castello è in rovina [Amico 1855]. È interessante 
a constatazione di Salinas che osserva come in questo castello non si notino restauri o pretesi 
abbellimenti di epoche più moderne [Salinas 1883]. Quest'ultimo è l'assunto più rilevante che ci 
informa che quest'architettura militare è rimasta incontaminata da rimaneggiamenti, consegnan- 
doci lo stesso aspetto degli ultimi cinque secoli (fig. 02). Il castello si compone di una cinta esterna 
che ingloba le scuderie, di una cinta più interna in posizione più elevata, di cui fanno parte la corte, 
a sala dei baroni, le sale sveve, la cappella, il mastio. Al livello inferiore sotto la sala dei baroni è 
collocata la sala d'armi con le annesse prigioni e il sistema delle cisterne (fig. 03). 


1 - SCUDERIA 

2 - CAPPELLA 

3 - CORTE 

4 - SALA DEI BARONI 
5 - SALE SVEVE 

6 - MASTIO 
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terra a quote differenti 
dei vari ambienti 
(Immagine dell'autore). 


Fig. 04. Pipeline 


Le procedure di acquisizione e post processamento 


L'acquisizione dei dati del castello è avvenuta attraverso laser scanner 3D, fotogrammetria 
multimmagine (SFM), camera digitale fullframe, un drone Autel Evo Pro 2 e una fotocamera 
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qualità visiva uniforme, ma le differenze di scale coniugate ai dettagli [Barbera 2022], non 
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ad oggi acquisite con la notevole mole di dati ha costituito un ostacolo in cui andava 
risolto il rapporto tra qualità e snellezza del modello. Il laser scanner utilizzato è un Faro 


us, l'acquisizione è avvenuta con un numero di stazioni sovrabbondanti 
per ricoprire ogni parte. Sono state utilizzate sfere riflettenti per gli interni e per gli esterni 
per garantire l'unione automatica con il software Faro Scene, per la corte l'unione è stata 
unti topografici utilizzando un GPS/GNSS GeoMax serie Zenith 16. Sono 
state acquisite due grandi cisterne naturali sotterranee mai rilevate per le difficoltà di accesso, 
i ambienti della corte, in una di esse è stata rinvenuta una volta a botte 
[3]. La registrazione con le altre nuvole di punti registrazione è stata rigorosamente manuale 
per le difficoltà di trovare punti in comune con le altre nuvole di punti. Gli errori comples- 


sivi sono stati contenuti entro i 16 mm per gli esterni e al di sotto dei 3 mm per gli interni. 
Gli obiettivi del progetto sono due: quello prioritario riguarda la creazione di contenuti di VR 
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Ma le attuali procedure di decimazione automatica, in cui non è previsto l'intervento umano, 
non possono essere sempre accettate per i modelli VR di architettura storica, dove anche 
un singolo dettaglio può avere 
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Fig. 05. Scansione del lato 
d'ingresso con il portale 
d'acceso e a sinistra 
quello della cappella a 
sesto acuto (Immagine 
dell'autore). 


Fig. 06. Scansione della 
volta della cappella con la 
doppia crociera (Immagi- 
ne dell'autore). 


complessità del problema [Matrone, Lingua 202 |], maggiormente sentito per quelle architet- 
ture con notevoli livelli di dettaglio quali quelle religiose. Il risultato visivo legato alla qualità dei 
dettagli nella realtà virtuale va quindi in conflitto con la mole di dati. Procedure automatiche 
non risolvono il problema della diversa concentrazione dei punti nelle zone con maggiori 
dettagli [Griffiths, Boehm 2019]. Il problema è meno sentito nelle VR CAVE, dove la fluidità 
è compensata dalla potenza di calcolo delle Workstation. Non potendo trovare una facile so- 
luzione, si è proceduto scomponendo le parti del castello: la cappella, la sala d'armi, la sala dei 
baroni, la corte, etc. Il riferimento è stato quello dei video-games dove viene caricato in me- 
moria un ambiente per volta e per quanto possibile si è trovata una pipeline comune (fig. 04). 


I modelli immersivi di VR 


Sono stati sviluppati i modelli dei diversi ambienti a partire dai dati acquisiti. Tra questi la cap- 
pella con la sua volta a doppia crociera (figg. 05, 07), la parte nobile che comprende la sala dei 
baroni e le sale sveve (fig. 08, 09). Di questa parte è stata sviluppata anche una elaborazione 
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Fig. 07. Scansione 
dell'abside della cappella 
(Immagine dell'autore). 


Fig. 08. Modellazione 3D 
di nuvola laser e SFM 

con texture per VR, della 
volta a crociera di una 
camera della parte nobile 
del castello 


di una sala sveva con la camera a luce strutturata Matterport Pro 2 (fig. 10), un'altra elabo- 
razione dell'intero gruppo di ambienti è stata sviluppata da uno dei partner del progetto. 
Dell'intero sito sono stati elaborati diversi modelli SFM a partire dalle foto con il drone, 
gli applicativi utilizzati sono stati Zephyr e Metashape (figg. I1, 12). Per i modelli immer- 
sivi come motore di sviluppo è stato utilizzato Unity3D per la sua migliore interazione 
a gestire | cosiddetti asset. | modelli 3D sono stati implementati per un utilizzo finalizza- 
to a visori mobili e ad una VR CAVE [3]. Sono stati affrontati alcuni aspetti in maniera 
rigorosa, come ad esempio la differenza di scala tra l'ambiente confinato della VR-CAVE 
e la riproduzione dell'ambiente reale, nonché la gestione dei movimenti dell'utente all'in- 
terno dell'ambiente virtuale. La questione viene risolta tramite l'implementazione dei trigger 
point, collocati in diverse posizioni dello spazio e utilizzati come artificio per il teletrasporto. 
È stata gestita l'ottimizzazione dei vari elementi quali le luci e le ombre che sono state pre- 
compilate e risolte in modo tale da rendere possibile l'utilizzo dell'applicazione anche con gli 
smartphone di capacità computazionali limitate, consentendo un'esperienza fluida ad un maggior 
numero di utenti. Per quanto riguarda la complessità computazionale del sistema è noto che 
essa dipende dalla risoluzione delle texture, la cui scelta fornisce una navigazione ottimale cioè 
fluida, ma non può prescindere da un buon livello di dettaglio. Inoltre, fornire un'esperienza di 
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Fig. 09. Spaccato della 
scansione lungo la corte, 
della sala dei baroni con 
la sottostante sala d'armi, 
delle sale sveve con le 
crociere. (Immagine 
dell'autore). 


Fig. 10. Immagini in 
sequenza ricavate dal 
modello 3D della camera 
Matterport (Immagine 
dell'autore). 


alto livello evita all'utente di imbattersi nelle riconosciute problematiche della VR, quali la sickness 
o cybersickness, ovvero le sensazioni di stordimento, disorientamento o malessere causati dal 
ritardo nella latenza. Questo ritardo può produrre una dissonanza tra i Movimenti del corpo e le 
azioni in ambiente virtuale, generando un senso di disorientamento. Più in generale un conflitto 
tra i segnali trasmessi dai diversi sistemi sensoriali e la loro incongruenza rispetto al sistema ner- 
voso centrale crea difficoltà percettive, è quindi innegabile la qualità del modello. Ne scaturisce 
la centralità del controllo complessivo della qualità della rappresentazione. Per l'Oculus Quest2, 
sono stati utilizzati diversi plug-in per includere funzioni di controllo del movimento dell'utente 
all’interno dell'ambiente e gestire le interazioni con altri oggetti. 

Lo sviluppo dell'applicazione VR per la CAVE è stato finalizzato a una CAVE a 3 pareti. La ge- 
stione e la sincronizzazione avvengono tramite due workstation. | componenti delle workstation 
consentono di sincronizzare la posizione dell'individuo e gli oggetti virtuali nella CAVE. Per la 
gestione in tempo reale dei controlli e della posizione è stato utilizzato il plug-in UVRPN, che 
semplifica la gestione dei dati di tracciamento inviati dai dispositivi indossati e acquisiti attraverso 
la tecnologia VRPN. Per quanto riguarda l'ottimizzazione dei modelli, l'utilizzo di hardware de- 
dicato ha reso possibile scegliere una risoluzione della trama del modello 3D più alta rispetto a 
quella dei sistemi per Oculus e Smartphone. Tra le varie ottimizzazioni, il rendering delle luci e 
delle ombre viene calcolato in tempo reale [Barbera et al. 2022]. 


Conclusioni 


Nel presente lavoro sono stati mostrati, alcuni dei risultati [4] del primo anno del progetto 
3DLAB-Sicilia del castello di Mussomeli. Nel sito del progetto [5] sono consultabili le parti già 
definite e a breve quelle in corso di definizione per i modelli 3D per le applicazioni di VR e Al. 
Sono in corso di definizione degli studi per la modulazione geometrica delle parti coperte e 
attraverso applicazioni di Al la possibilità di avvicinare il pubblico, gli studiosi e gli studenti alle 
tematiche di riconoscimento delle ipotesi progettuali, compositive, geometriche tipiche del set- 
tore del disegno. La molteplicità dei processi: fotogrammetrici terrestri, da drone, delle nuvole 
di punti e delle applicazioni con la camera Matterport pro 2 saranno oggetto di prossime comu- 
nicazioni e di un lavoro mirato. L'esperienza finora acquisita è stata oggetto di alcune riflessioni. 
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Fig. | |. Modello SFM 


da drone elaborato con 


Metashape (Immagine 
dell'autore). 


Fig. 12. Modello SFM 
da drone elaborato 
con Zephyr (Immagine 
dell'autore). 
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Riguardo l'adeguatezza delle tecnologie si è verificato che per una conoscenza speditiva, rivolta 
ad un pubblico più ampio, i modelli elaborati con il sistema Matterport risultano efficaci e co- 
municano la spazialità in modo eccellente, con tempi di acquisizione rapidi. L'unica pecca per 
gli esterni è la difficoltà ad operare in presenza di luce solare, e la discretizzazione del modello 
limitato ai punti stazione. | Modelli con laser scanner 3D finalizzati alla VR presentano maggiore 
fluidità e continuità, ma sicuramente più complessi nei tempi di processamento, finalizzati per 
il loro dettaglio e precisione ad esperienze più approfondite da parte di studiosi. Per coniugare 
e risolvere le due problematiche, si sta sviluppando nei modelli del progetto in questione, una 
modalità mista gestita tramite Menù, dove è possibile scegliere accedere ad un percorso rapido 
o a un percorso con contenuti approfonditi come definizione dei dettagli ognuno interprete dei 
due sistemi sopra esposti. Sono state analizzate le texture dei due modelli di scansione ed è in 
corso di studio l'unione delle nuvole di punti generate da matterport con quelle da laser scanner. 
In una fase storica in cui stanno espandendosi nuovi modelli di diffusione della conoscenza, il set- 
tore dei Beni Culturali vive una nuova stagione di iniziative e opportunità. Il ruolo educativo che 
questo settore imprime alla società è innegabile, sia per le presenti che per le future generazioni. 
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L'attenzione gia richiamata dalla convenzione di Faro del 2005 è sempre attuale, la tecnologia 
offre un'innegabile opportunità a sostegno della divulgazione, validando la qualità attraverso 
importanti operazioni come quella di Visionair. Nel fenomeno planetario di divulgazione dei 
contenuti dei beni culturali intervengono diverse discipline, l'iter di processamento passa attra- 
verso step di verifica e di controllo dei risultati ed è imprescindibile il ruolo dell'area disciplinare 
della rappresentazione per il controllo di qualità dei risultati visivi e grafici. 


Note 


] http:/Awww.infra-visionaireu (consultato il 20 febbraio 2022) 


N 


https://www.icom-italia.org/litalia-ratifica-la~-convenzione-di-faro-sul-patrimonio-culturale/ (consultato il 27 febbraio 2022) 


[3] La VR Cave, realizzata nell'ambito del progetto 3DLAB Sicilia, è collocata presso l'Istituto Euro Mediterraneo di Scienza e 


Tecnologia (IEMEST) di Palermo. 


E 


Per i limiti editoriali non è stato possibile mostrare maggiori contenuti del lavoro svolto, delle 240 scansioni e di tutti le parti rilevate. 


G 


Il sito del progetto è consultabile all'indirizzo web https://www.3dlab-sicilia.it/it_it/ 
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Between real and virtual: 
the medieval castle of Mussomeli 
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Abstract 


The castle of Mussomeli (CL) is one of the most evocative of the Sicilian hinterland due 
to its perched and dominant position over a large area of the surrounding area. A popular 
tourist destination for many visitors, it belongs to that category of spontaneous castles, in 
which the orographic situation of the fortress becomes the defensive opportunity to place 
individual designed environments, totally disjointed, but organically inserted in the orography. 
The plant gives us a significant image of what a 13th century military architecture was like, 
for controlling the territory. On the occasion of a project funded by the region to produce 
virtual (VR) and augmented (AR) reality through viewers and VR Caves, aimed at enhancing 
the territory, three-dimensional models were produced using active lidar and passive sensors 
with drones and digital cameras. The occasion was twofold: to produce virtual reality models, 
and study models. The work intersected with different disciplines, ranging from the area of 
information science to the historical one, as well as particle physics for investigations into the 
rock layers. In this multidisciplinary approach, design and representation retain the central 
role for verification and analysis in multiple aspects. In this work the results achieved so far in 
the first year of work are given. 
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Fig. 01. The virtual reality 
apps in the google play 
store (Image by author). 


Introduction: an imaginary universe of images 


It is no wonder that we live immersed in a world of images, but it is always a reason for 
renewed reflection. The difference of the “Homo sapiens", starting from its debut, is the 
creation of abstract concepts, of imagining, that is, adding a virtual world to reality, one could 
define him as an imaginative man, “it is relatively easy to agree on the fact that only Homo 
sapiens can talk about things that don't really exist and come up with impossible stories ”[Ha- 
rari 2017]. Since the beginning, man has found it faster and more effective to communicate 
through images, the first attempts at phonetic writing quickly fell into disuse and when they 
were rediscovered they remained undeciphered for some time. The question of graphic 
forms is different: pictograms and ideograms have allowed a more rapid deciphering, as well 
as an immediate fascination. In the essay “the disappeared scriptures” J. Friedrich states that: 
“On Egyptian graphic signs it is necessary to say in the first place that pictographic writing is 
first of all the writing used on monuments, on which it is especially noticed by a foreigner” 
[ Friedrich 1989]. An interesting statement that expresses the will of a civilization to assign 
messages and communications to the graphic language to be handed down, rather than to 
writing on papyrus. A little further on, the same author states: “It is therefore sufficient for 
us, for the subsequent examination of the intimate structure of Egyptian writing, to take as 
a basis the plastic forms of the hieroglyphs that are most striking for the immediacy of the 
representations” [Friedrich 1989]. In contrast to the disappeared cuneiform scripts of Asia 
Minor, the role of the graphic sign as a recognized universal language that has crossed time 
remains undeniable. The mosaics of late ancient Roman villas were created to capture the at- 
tention of guests, more effective than an inscription engraved on marble, still today they fulfill 
their role of effective visual impact on visitors. The transmission of important messages in 
human history has always occurred through images: “I refer to the powerful need on the part 
of the church, after defeating iconoclasm in the ninth century, to develop an articulated sys- 
tem of images capable of rendering its creed more intelligible and therefore more accessible, 
to a vast mass of real or potential believers, deprived of the possibility of reading the sacred 
texts “[Maldonado 2015]. Pictograms, mosaic representations, sacred representations: ex- 
pressive representations, sometimes of virtual narratives, sometimes of fantastic narratives. 
The representation of the virtual has always existed, what we are talking about today is the 
digital extension. 
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The 3Dlab-Sicily project: dissemination of cultural heritage through VR/AR. 


The ever growing and cheaper availability of active and passive sensors, lidar and digital on the 
one hand, and of viewers with wearable devices for the enjoyment of highly immersive envi- 
ronments on the other, has made it possible to explode a real and its own VR and AR market. 
In 2020, the economic impact of this sector reached a figure that is around 29.5 billion dol- 


2355 


Fig. 02. The Castle of 
Mussomeli, the relation- 
ship with the fortress 
(Image by author). 


Fig. 03. The castle of 
Mussomeli, plan of the 
ground floors at different 
heights of the various 
rooms (Image by author). 


lars, in 2017 the value was 2.4 billion dollars, and in 2016 there were 1.7 billion dollars. VR / 
AR applications are increasingly widespread and numerous in many fields, so it is no wonder 
that advanced visualization VR / AR laboratories are constantly being created and developed, 
in both academic and industrial environments. On the google play app store there are about 
249 virtual reality applications (fig. 01), of which the first boasts over two million downloads. 
The 3DLAB Sicily project is part of this strong demand for VR / AR content, with the devel- 
opment of VR / AR models of the cultural assets of various partner municipalities, including 
sites or cultural assets already registered by UNESCO. The 3DLab Sicily UNESCO-VR work 
package involves some researchers from the drawing and representation area of the Uni- 
versity of Catania to develop immersive reality content. The dataset is quite large, including 
archaeological sites from the protohistoric and Byzantine periods, religious architecture, in- 
dustrial archeology sites from the | 7th century, military architecture including the castle of 
Vizzini (CT), formerly a former Bourbon prison and the castle of Mussomeli. The aim of the 
project is to create virtual models that can be navigated via cardbord, viewers, and immersive 
experiences with three-walled VR caves, created as part of the same project. Finally, the 
3DLab-Sicily project also intends to validate and demonstrate some experimental robotic 
equipment and the synergies of the infrastructure with a series of use cases in order to fed- 
erate its infrastructure with the European one of Visionair, in order to define management 
and sustainability models. after the end of the project. The Visionair network [1] funded by 
the European Commission aimed to create a continental network with more than 20 VR and 
3D visualization centers and to validate it with about 200 applications and projects selected 
through competitive procedures. The importance of disseminating knowledge of cultural 
heritage had already been expressed with the 2005 Faro convention, implemented by Italy 
only in 2020. We agree with what is expressed by ICOM [2] regarding the Faro Convention 
which is based on the assumption that the knowledge and use of cultural heritage are fully part 
of human rights, and in particular in the context of the right of the individual to take part freely in 
the cultural life of the community and to enjoy the arts. The activity aims, in addition to the aims 
inherent in the project, to raise awareness among the bodies in charge of museum sites and 
municipal administrations to activate in various ways initiatives for the enhancement of the 
territory and the dissemination of artistic and historical culture. We can fully speak of a pilot 
project for the region, since further involvement of local administrations is real and ongoing, 
made possible through sub-calls financed within the current project. The role of drawing and 
representation remains central in the control of the contents and experiments of this new 
frontier. Role that intervenes in all phases, from data acquisition, to processing methods up 
to the visual result. 


1 - SCUDERIA 

2- CAPPELLA 

3- CORTE 

4 - SALA DEI BARONI 
5- SALE SVEVE 


6- MASTIO 
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Fig. 04. Pipeline 


Brief historical notes 


Its foundation is hypothesized in the first half of the fourteenth century, following the con- 
cession with royal privilege obtained by Manfredi Ill Chiaramonte, for the territories of 
Castronovo and Mussomeli. The south-west rooms and the chapel [Spatrisano 1972] be- 
long to the first plant, while the historical foundation of the castle is recognized to the sec- 
ond half of the century, which would have incorporated previous structures [Armo 1911]. 
In the fourteenth century the castle passed to the state property and in 1392 Mussomeli was 
assigned to Guglielmo Raimondo Moncada, then alternating events followed and a period 
of stability was reached with the ownership of the Lanza family who owned it between the 
sixteenth and twentieth centuries. We know that the expansion with the barons’ hall and 
adjacent rooms [Armò 1911] belongs to the fifteenth century, while the castle was in ruins 
during the eighteenth century [Amico 1855]. It is certainly interesting the analysis of Salinas 
who observes that in this castle there are no restorations or alleged embellishments of more 
modern epochs [Salinas 1883]. The latter is the most relevant assumption that informs us 
that this military architecture has remained uncontaminated by alterations, giving us the same 
aspect of the last five centuries (fig. 02). The castle is made up of an external wall, which 
includes the stables, a more internal wall in a higher position, which includes the court, the 
barons’ room, the Swabian rooms, the chapel, the keep. On the lower level under the barons’ 
hall is the armory with the attached prisons and the tank system (fig. 03). 


The acquisition and post processing procedures 


The data acquisition of the castle took place through a 3D laser scanner, multi-image photo- 
grammetry (SFM), a full-frame digital camera, an Autel Evo Pro 2 drone, and a 3D Matter- 
port Pro2 structured light camera. The objectives of VR and AR were aimed at a uniform 
visual quality, but the differences in scales conjugated to the details [Barbera 2022], did not 
always allow the use of common processing procedures. The over 240 scans acquired to 
date with the considerable amount of data constituted an obstacle in which the relationship 
between quality and slenderness of the model had to be resolved. The laser scanner used is 
a Faro Focus Cam2 350 plus, he acquisition took place with a number of overabundant sta- 
tions to cover each part. Reflective spheres were used for interiors and exteriors to ensure 
automatic union with the Faro Scene software, for the courtyard the union was enhanced 
with topographic points using a GeoMax Zenith |6 series GPS/GNSS. 


Fig. 05. Scan of the 
entrance side with the 
access portal and on the 
left that of the pointed 
arch chapel (Image by 
author). 


Fig. 06. Scan of the vault 
of the chapel with the 
double cross (Image by 
author). 


Two large natural underground cisterns, never detected due to access difficulties, were ac- 
quired, positioned under the courtyard rooms, in one of them a barrel vault was found [3]. 
The registration with the other registration point clouds was strictly manual due to the diffi- 
culty of finding points in common with the other point clouds. Overall errors were contained 
within 16 mm for exteriors and below 3 mm for interiors. The objectives of the project are 
two: the priority one concerns the creation of VR and Al contents starting from 3D mod- 
els, the second is intended for scientific and research contents. The scanned data for the 
clouds attempts to combine the two paths although the content aimed at searching requires 
more intensified point clouds where you can appreciate the details. The use of segmenta- 
tion or decimation processes would be undeniable. But the current automatic decimation 
procedures, in which human intervention is not foreseen, cannot always be accepted for 
VR models of historical architecture, where even a single detail can have a particular value. 
The problem is particularly felt in wearable viewers such as oculus and cardbord. As a ref- 
erence on the subject, “Point Cloud Semantic Segmentation Using a Deep Learning Frame- 
work for Cultural Heritage” [Pierdicca et al. 2020], but also other works have shown the 
complexity of the problem [Matrone, Lingua 2021], which is most felt for those architectures 
with notable levels of detail such as religious ones. 


Fig. 07. Scan of the apse 
of the chapel (Image by 
author). 


Fig. 08. 3D modelling of 
laser cloud and SFM with 
textures for VR, of the 
cross vault of a chamber 
in the noble part of the 
castle 


The visual result linked to the quality of the details in virtual reality therefore conflicts with 
the amount of data. Automatic procedures do not solve the problem of the different con- 
centration of points in the areas with more details [Griffiths, Boehm 2019]. 

The problem is less felt in the VR CAVE, where the fluidity is compensated by the computing 
power of the Workstations. Not being able to find an easy solution, we proceeded by break- 
ing down the parts of the castle: the chapel, the armory, the hall of the barons, the court, etc. 
The reference was that of video games where one environment is loaded into memory at a 
time and as far as possible a common pipeline has been found (fig. 04). 


The immersive models of VR 


The models of the different environments were developed starting from the acquired data. 
These include the chapel with its double cross vault (figs. 05, 07), the noble part that includes 
the hall of the barons and the Swabian rooms (fig. 08, 09). An elaboration of a Swabian room 
with the Matterport Pro 2 structured light chamber (fig. 10) was also developed of this part, 
another elaboration of the entire group of environments was developed by one of the pro- 
ject partners. 
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Fig. 09. Cross-section 

of the scan along the 
courtyard, of the barons' 
hall with the arms room 
below, of the Swabian 
rooms with cruises 
(Image by author). 


Fig. 10. Sequential images 
taken from the 3D model 
of the Matterport2 
(Image by author). 


Fig. | |. SFM drone model 
developed by Metashape 
(Image by author). 
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Various SFM models have been developed for the entire site starting from the photos with 
the drone, the applications used were Zephyr and Metashape (figs. | |, 12). For immersive 
models, Unity3D was used as a development engine for its better interaction to manage 
so-called assets. The 3D models have been implemented for use, aimed at mobile view- 
ers and a VR CAVE [3]. Some aspects were dealt with rigorously, such as the difference 
in scale between the confined environment of the VR-CAVE and the reproduction of 
the real environment, as well as the management of user movements within the virtual 
environment. The issue is resolved through the implementation of “trigger points”, placed 
in different positions in space and used as a device for teleportation. The optimization of 
the various elements such as the lights and shadows has been managed, which have been 
pre-compiled and resolved in such a way as to make it possible to use the application even 
with smartphones with limited computational capabilities, allowing a smooth experience 
to a greater number of users. 
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Fig. 12. SFM drone model 
developed by Zephyr 
(Image by author). 


As far as the computational complexity of the system is concerned, it is known that 
it depends on the resolution of the textures, the choice of which provides an op- 
timal, ie fluid navigation, but cannot be separated from a good level of detail. 
Furthermore, providing a high-level experience avoids the user from encountering the 
recognized problems of VR such as sickness or cybersickness, or the sensations of diz- 
ziness, disorientation or malaise caused by the delay in latency. This delay can produce a 
dissonance between body movements and actions in the virtual environment, generating a 
sense of disorientation. 


More generally, a conflict between the signals transmitted by the different sensory systems 
and their inconsistency with respect to the central nervous system creates perceptual diffi- 
culties, therefore the quality of the model is undeniable. The centrality of the overall control 
of the quality of the representation derives from this. For the Oculus Quest2, several plug-ins 
were used to include user movement control functions within the environment and manage 
interactions with other objects. The development of the VR application for the CAVE was 
aimed at a 3-wall CAVE. Management and synchronization takes place via two workstations. 
The components of the workstations allow you to synchronize the position of the individual 
and the virtual objects in the CAVE. The UVRPN plug-in was used for real-time management 
of controls and position, which simplifies the management of tracking data sent by worn 
devices and acquired through VRPN technology. As for the optimization of the models, the 
use of dedicated hardware made it possible to choose a resolution of the texture of the 3D 
model higher than those of the systems for Oculus and Smartphone. Among the various op- 
timizations, the rendering of lights and shadows is calculated in real time [Barbera et al. 2022]. 


Conclusions 


In the present work some of the results [4] of the first year of the 3DLAB-Sicilia project 
of the Mussomeli castle have been shown. On the project website [5] you can consult the 
parts already defined and soon those being defined for 3D models for VR and Al applications. 
Studies for the geometric modulation of the covered parts are being defined and, through Al 
applications, the possibility of bringing the public, scholars and students closer to the themes 
of recognition of the design, compositional and geometric hypotheses typical of the draw- 
ing sector. The multiplicity of processes: terrestrial photogrammetric, drone, point clouds and 
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applications with the Matterport pro 2 camera will be the subject of future communications 
and targeted work. The experience acquired so far has been the subject of some reflections. 
Regarding the adequacy of the technologies, it has been verified that for a quick knowledge, 
med at a wider audience, the models developed with the Matterport system are effective 
nd communicate spatiality in an excellent way, with rapid acquisition times, Regarding the ad- 
quacy of the technologies, it has been verified that for a quick knowledge, aimed at a wider 
udience, the models developed with the Matterport system are effective and communicate 
patiality in an excellent way, with rapid acquisition times. The only flaw for the exteriors is the 
ifficulty of operating in the presence of sunlight, and the discretization of the model limited to 
the station points. The models with 3D laser scanners aimed at VR present greater fluidity and 
continuity, but certainly more complex in processing times, aimed for their detail and precision 
to more in-depth experiences by scholars. To combine and solve the two problems, a mixed 
mode managed via menu is being developed in the models of the project in question, where it 
is possible to choose to access a quick path or a path with in-depth contents such as definition 
of the details each interpreter of the two systems above exposed. The textures of the two scan 
models were analyzed and the union of the point clouds generated by matterport with those 
from laser scanners is being studied. In a historical phase in which new models of knowledge 
diffusion are expanding, the Cultural Heritage sector is experiencing a new season of initiatives 
and opportunities. The educational role that this sector gives to society is undeniable, both for 
present and for future generations. The attention already drawn by the 2005 Faro convention is 
always current, the technology offers an undeniable opportunity to support dissemination, vali- 
dating quality through important operations such as that of Visionair. In the global phenomenon 
of dissemination of the contents of cultural heritage various disciplines intervene, the process 
of processing passes through steps of verification and control of the results, and the role of the 
disciplinary area of the drawing of the representation is essential for the quality control of the 
results visuals and graphics. 


ary On dd 


Notes 


[1] http://www.infra-visionaireu (accessed February 20, 2022) 


[2] https://www.icom-italia.org/litalia-ratifica-la~-convenzione-di-faro-sul-patrimonio-culturale/ (accessed February 27, 2022) 


[3] The VR Cave, created as part of the 3DLAB Sicily project, is located at the Euro Mediterranean Institute of Science and 
Technology (IEMEST) in Palermo. 


[4] Due to editorial limitations, it was not possible to show more contents of the work done, of the 240 scans and of all the 
parts detected. 


i 


] The project site is available at the web address: https://www.3dlab-sicilia.it/it_it/ 
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